浙大团队突破!RecA让AI生成黄色西兰花,多模态模型迎来质变时刻
要说现在AI界的网红,多模态模型肯定算一个,能认图能说话,乍一看挺全能,但细究起来全是槽点,比如你让它画“一只黑色的猫和白色的狗”,它可能画成猫穿白衣服狗穿黑衣服;你说“黄色西兰花”,它大概率还是给你绿油油的一团。
要说现在AI界的网红,多模态模型肯定算一个,能认图能说话,乍一看挺全能,但细究起来全是槽点,比如你让它画“一只黑色的猫和白色的狗”,它可能画成猫穿白衣服狗穿黑衣服;你说“黄色西兰花”,它大概率还是给你绿油油的一团。
谢集,浙江大学竺可桢学院大四学生,于加州大学伯克利分校(BAIR)进行访问,研究方向为统一多模态理解生成大模型。第二作者为加州大学伯克利分校的 Trevor Darrell,第三作者为华盛顿大学的 Luke Zettlemoyer,通讯作者是 XuDong W